Luật sư Phan Anh có 2 đời vợ. Vợ đầu của ông là bà Đỗ Thị Thao, Tiến sĩ Dược khoa, Dược sĩ hạng nhất ở Paris (Pháp). Bà sinh cho ông ba con trai là Phan Trúc Long, Phan Trí Vân và Phan Tân Hội. Bà Thao mất năm 1952. Ông Phan Trúc Long là một nhà vật lý lý thuyết và là con rể của Đại tướng Võ Nguyên Giáp.

Vợ sau của ông là bà Đỗ Thị Hồng Chỉnh (gọi bà Đỗ Thị Thao là cô ruột), Cử nhân Sư phạm. Bà cũng sinh cho ông ba con trai, đặt tên là Phan Tú Tùng, Phan Triều Dương, Phan Thiên Thạch.